Невидимые правители. Люди, которые превращают ложь в реальность - Renee DiResta

должны быть симметричными - воротнички, серьги, зрачки - часто оказывались не такими. Фотографии, созданные GAN, содержали десятки мелких признаков, которые позволяли исследователям с высокой степенью уверенности утверждать, что фотография профиля, скорее всего, сгенерирована искусственным интеллектом, однако у новой технологии были и свои тревожные сигналы.

После 2018 года исследователи дезинформации стали видеть эти подделки повсюду: иногда их использовали государственные акторы в пропагандистских кампаниях, иногда - спамерские компании, пытающиеся наладить связи для исходящих продаж. 95 Поскольку поддельные лица стали встречаться все чаще, даже на таких платформах, как LinkedIn, платформы социальных сетей начали инвестировать в технологии для их обнаружения. 96 СМИ писали объяснения, чтобы помочь публике распознать признаки. Но даже когда технологические компании одержали верх и большая часть публики стала разбираться в признаках подделки, генеративный ИИ, использующий другой тип технологий - генеративные предварительно обученные трансформаторы (GPT), - стал более демократичным.

В 2020 году OpenAI выпустила GPT-3, генератор текста, который работает, предсказывая следующее слово в предложении с поразительной изощренностью. 97 В то время я изучал пропаганду, которую российская военная разведка (ГРУ) писала для своих подставных СМИ, манипулируя разговорами вокруг сирийской войны. 98 Эти усилия были обнаружены отчасти потому, что фальшивые журналисты ГРУ плагиатили контент - в том числе у своих собственных фальшивых коллег! 99 Когда летом 2020 года я одновременно читал российскую пропаганду и изучал потенциал GPT-3, мне пришло в голову, что эта технология позволит пропагандисту легко избежать ловушек обнаружения, в которые попали фальшивые журналисты, чьи материалы я читал. Она могла бы быстро и недорого создавать оригинальный контент, повторяя стиль и тон любого сообщества вплоть до языка и сленга внутри группы. 100 Больше не было бы необходимости заниматься плагиатом. Повторы "копипасты" и маленькие малапропизмы и неправильная расстановка знаков препинания, которые мы использовали в качестве сигналов для обнаружения дезинформационных кампаний государственных субъектов, скорее всего, исчезнут.

Технология быстро демократизировалась с запуском ChatGPT. За ней быстро последовала широкодоступная генерация текста в изображение: если вы можете описать объект или сцену, диффузионные модели ИИ, такие как Stable Diffusion и MidJourney, нарисуют картинку, которую вы себе представляете, в ярких деталях. У этих инструментов тоже были первые "подсказки" - подобно тому, как лица, сгенерированные GAN, часто имели неровные зубы и странные зрачки, сгенерированные ИИ изображения людей часто включали лишние пальцы. Но уже через несколько месяцев эти недостатки были полностью устранены. Теперь можно легко создавать фотореалистичные изображения людей, которых не существует, в местах, которых не существует, с изображением событий, которые никогда не происходили. Можно создавать аудиозаписи того, что никогда не было сказано, даже голосами обычных людей. Видео уже на пути к тому, чтобы стать таким же доступным. Другими словами, можно массово производить нереальность.

Технологии генеративного ИИ являются мощными и очень полезными для многих приложений. Как и в случае со многими другими технологиями, это означает, что существуют и вредоносные приложения. После нескольких взаимодействий с GPT-3 стало очевидно, что генеративные текстовые инструменты, создающие текст, неотличимый от написанного людьми, будут также преобразованы для пропагандистов, одновременно повышая качество и количество их продукции и снижая затраты на ее производство. 101 Большие языковые модели могут снова сделать автоматизированные боты в социальных сетях полезными, поскольку они позволяют чат-ботам реагировать на запросы пользователей, которые пытаются с ними взаимодействовать. 102 Синтетические видеоклипы, созданные ИИ изображения или поддельные "утечки аудио" могут быть использованы в качестве основы для сенсационных вирусных историй. Технологии развиваются, и тролли адаптируются.

Утром 22 мая 2023 года кто-то опубликовал в Twitter фотографию черного облака дыма и здания с надписью "Большой взрыв рядом с Пентагоном". Это сообщение получило широкую огласку и вызвало кратковременное падение фондового рынка. 103 Это была не первая мистификация в Twitter, вызвавшая волнения на финансовых рынках. Но на этот раз изображение было сгенерировано искусственным интеллектом. Журналисты-расследователи обнаружили, что первым аккаунтом, разместившим контент, был якобы "новостной" аккаунт - по крайней мере, в его имени пользователя было слово "news" - который заплатил за получение синей проверки (верификации аккаунта) в Twitter. 104 Аккаунт ранее размещал контент QAnon и иногда пропутинские комментарии. 105 Среди других аккаунтов, участвовавших в распространении фальшивого изображения, были самозванцы, использовавшие бренд авторитетных новостных изданий ("BloombergFeed", не имеющий отношения к Bloomberg), а также российского государственного СМИ RT и антиистеблишментского блога Zero Hedge. Интересно, что здание, изображенное на снимке, на самом деле не похоже на Пентагон. Физика столбов ограждения и колонн здания была просто неправильной. Но некоторым людям это показалось убедительным, и они поделились информацией и отреагировали на нее. Всплеск на фондовом рынке, скорее всего, был результатом того, что торговые алгоритмы лениво читали Twitter. Но этот сценарий напомнил мне о #ColumbianChemicals и о том, насколько проще сегодня создавать мистификации с помощью технологий.

Социальные сети демократизировали распространение контента, сделав возможным для всех и каждого делиться сообщениями, ориентироваться на аудиторию и развивать сообщество. Генеративный ИИ сводит стоимость создания контента к нулю. Технология обещает невероятные выгоды для большинства честных, подлинных людей в мире, которые будут ее использовать. Общество вряд ли рухнет под воздействием множества манипулятивных кампаний, созданных ИИ, просто потому, что такая технология существует; аудитория должна доверять посланнику и верить в то, что контент настоящий, чтобы он был влиятельным. Но, скорее всего, в ближайшей перспективе мы увидим рост числа подобных мистификаций, даже когда платформы начнут внедрять инструменты для проверки водяных знаков и других признаков подлинности контента. Влиятельные люди, особенно с большим количеством подписчиков, станут мишенями, поскольку манипуляторы попытаются убедить их поделиться синтетическим медиа со своей большой аудиторией.

Генеративный ИИ позволяет нам создавать нереальность: создавать изображения из несуществующих миров, аудиозаписи, которые никогда не произносили ораторы, и видеозаписи событий, которые не происходили, - такая магия раньше была прерогативой крупных киностудий или людей с глубокой технологической подготовкой или художественным мастерством. Но еще важнее понять другое последствие этой технологической революции: дивиденды лжеца, когда осознание существования технологии позволяет человеку усомниться в том, что вещи реальны. 106 Утечка аудиозаписей с реальными комментариями в горячих микрофонах, о которых политик жалеет, что не сказал? Просто отбросьте это. Это не я, это сгенерировал ИИ.

Это не просто теоретические рассуждения. 7 октября 2023 года в Израиле произошел ужасный террористический акт: боевики ХАМАС уничтожили более одиннадцатисот израильских мирных жителей на музыкальном фестивале и в десятках мест вблизи границы Израиля и Газы. Некоторые из боевиков, которые сами были убиты, носили камеры GoPro. 107 Записи с этих камер, а также от первых лиц, прибывших на место происшествия, наводнили социальные сети, сначала появившись на